Cha của anh ấy là nghệ sĩ Hong Kong Địch Long, mẹ là nghệ sĩ Đào Mẫn Minh, anh chị họ là nghệ sĩ Lâm San San, Lâm Hải Phong, Lâm Hiểu Phong. Vợ là nữ diễn viên Trung Quốc đại lục Nhậm Chỉ Nghiên, hai người có 1 trai 1 gái. Đàm Tuấn Ngạn 4 năm trước kiên quyết trở về Hong Kong làm việc, hy vọng có nhiều thời gian chứng kiến con cái trưởng thành.